模型上線後，資安跟資源控管是兩大議題，今天就一起來看看如何去強化這兩個部分的管理吧！

SageMaker資安

整體環境的設置，需要搭配AWS幾個資安的設定：

1. IAM:

明確劃分誰有權限去啟用哪一些雲端資源(IAM User)，以及雲端資源之間，彼此可相互擷取的權限是什麼(IAM Role)。

2. MFA:

登入雲端資源時，透過密碼與電話認證，來強化登入流程。

3. SSL/TLS:

資料的傳遞滿足SSL/TLS的協定標準。

4. CloudTrail：

用來追蹤誰去打API，觀察開發者或使用者的數位行動軌跡。

5. 代碼、模型與資料加密：

針對原始碼與資料進行不同層級的加密。

• S3: 透過KMS來做資料加密。
• SageMaker Notebook and Job: KMS可加密特定路徑下的所有檔案。

6. 設置VPC

在私有的雲端空間，進行模型的訓練，阻隔外網的連入。

7. PII控管：

針對帶有個人識別的資料，進行強化控管，去識別化，或定義可以資料取得權限與環境。

SageMaker資源控管

1. Elastic Inference

搭配GPU來加速AI模型跑Inference的效率。

2. Automatic Scaling

用來定義什麼情境之下，自動化去擴增或調降運行機器的數量。

3. Serverless Inference

定義好要跑的Docker container、記憶體的需求後，Serverless Inference可自動調配機器資源的運行。適用於流量高度不確定性的場域。

4. Amazon SageMaker Inference Recommender

根據我們的AI模型，自動幫我們測試來找出最佳的硬體資源配置。

ChatGPT來出題：

情境1：您正在運行一個機器學習模型，但您遇到了性能問題，且不想為整個GPU實例支付高昂的費用。您需要根據需求調整計算資源以提高性能。哪個AWS服務最適合幫助您實現這一目標？

A) AWS Elastic Inference
B) Serverless Inference
C) Automatic Scaling
D) Amazon SageMaker Inference Recommender

答案：A) AWS Elastic Inference

解釋： AWS Elastic Inference允許您根據需求降低計算資源，並為機器學習模型提供適當的GPU加速，以提高性能，同時降低成本。

情境2：您正在開發一個伺服器應用程序，需要進行機器學習推理，但您希望根據需求自動調整計算資源，以應對不同的工作負載。哪個AWS服務最適合幫助您實現這一目標？

A) AWS Elastic Inference
B) Serverless Inference
C) Automatic Scaling
D) Amazon SageMaker Inference Recommender

答案：C) Automatic Scaling

解釋： Automatic Scaling是一種自動調整計算資源的方法，可根據工作負載的需求自動擴展或縮小計算資源，以實現高性能和成本節省。

情境3：您正在使用Amazon SageMaker部署機器學習模型，但您不確定應該選擇哪種推理實例類型。哪個AWS服務可以幫助您推薦最適合的推理實例類型，以滿足您的性能需求？

A) AWS Elastic Inference
B) Serverless Inference
C) Automatic Scaling
D) Amazon SageMaker Inference Recommender

答案：D) Amazon SageMaker Inference Recommender

解釋： Amazon SageMaker Inference Recommender是一項服務，可以分析模型的推理需求，並建議最適合的推理實例類型，以滿足性能需求。

情境4：您正在處理敏感的健康記錄，這些記錄受到法規的保護。您想確保在訓練和部署機器學習模型時，數據不會被非授權的人訪問。哪些Amazon SageMaker安全措施可以幫助您實現這一目標？

A) SageMaker VPC Mode
B) SageMaker Data Wrangler
C) SageMaker Debugger
D) SageMaker JumpStart

答案：A) SageMaker VPC Mode

解釋： SageMaker VPC Mode允許您將Amazon SageMaker環境置於您的虛擬私有雲（VPC）中，從而隔離您的SageMaker資源，確保數據不被非授權的訪問。